En el campo de la inteligencia artificial, el entrenamiento de modelos de lenguaje grandes (LLM) se ha convertido en un motor clave del progreso tecnológico. Sin embargo, a medida que aumentan el tamaño de los modelos y los conjuntos de datos, los métodos de optimización tradicionales, especialmente AdamW, muestran sus limitaciones. Los investigadores se enfrentan a una serie de desafíos, como altos costes computacionales, inestabilidad en el entrenamiento, incluyendo la desaparición o explosión de gradientes, actualizaciones inconsistentes de la matriz de parámetros y altas demandas de recursos en entornos distribuidos. Por lo tanto, se necesitan urgentemente técnicas de optimización más eficientes y estables para abordar estas complejidades. Para...

La aplicación Tianyancha muestra que Tencent Technology (Shenzhen) Co., Ltd. solicitó recientemente una patente denominada "Método de entrenamiento de modelos de lenguaje extenso, dispositivo, equipo informático y medio de almacenamiento". El resumen de esta patente revela que el método proporciona más información aprendible para el modelo durante el entrenamiento introduciendo un primer texto de resumen y un segundo texto de resumen. Según la descripción de la patente, la cantidad de información contenida en el primer y segundo texto de resumen es diferente, y el primer texto de resumen también incluye oraciones correctas e incorrectas. Mediante el uso de estos dos textos para el mismo texto

Recientemente, Tencent Technology (Shenzhen) Co., Ltd. publicó en la aplicación Tianyancha una patente sobre un método de entrenamiento y dispositivos relacionados para modelos de lenguaje extenso. Esta patente, titulada "Método de entrenamiento, dispositivo, equipo informático y medio de almacenamiento para modelos de lenguaje extenso", tiene como objetivo mejorar la capacidad de aprendizaje y la precisión de los modelos de lenguaje extenso mediante un método de entrenamiento innovador. En el entrenamiento de modelos de lenguaje extenso, los métodos tradicionales a menudo dependen de un solo resumen de texto, lo que puede provocar un sobreajuste del modelo y afectar la precisión y la diversidad del contenido generado. Sin embargo, la nueva patente de Tencent...

En los últimos años, entrenar modelos de lenguaje grandes (LLM) se ha vuelto cada vez más costoso y complejo, con solo unas pocas grandes empresas tecnológicas que poseen los recursos informáticos necesarios. Sin embargo, Google ha presentado recientemente un nuevo método llamado SALT (entrenamiento de modelos grandes asistido por modelos pequeños), una innovación que podría cambiar por completo el panorama del entrenamiento de IA. Nota de la imagen: imagen generada por IA, servicio de autorización de imágenes Midjourney según las últimas investigaciones de Google y DeepMind, "Un poco de ayuda puede recorrer un largo camino: aprovechando los modelos de lenguaje pequeños"

Recientemente, el investigador chino-estadounidense Jeffrey Wang de la Universidad de Harvard se unió oficialmente a OpenAI como investigador del equipo fundamental, centrándose en el preentrenamiento y la inferencia de modelos. Esta noticia ha generado un gran interés, y el cofundador y presidente de OpenAI, Greg Brockman, dio la bienvenida a Jeffrey enseguida. La formación académica de Jeffrey Wang es bastante notable. Se graduó en una escuela secundaria de California, donde...

En una ceremonia de lanzamiento celebrada en Pudong, la zona de conducción autónoma de alto nivel de Shanghái recibió una flota de 30 vehículos IM L6 para recopilar datos. Este equipo tendrá la importante misión de proporcionar datos de entrenamiento para los grandes modelos de conducción autónoma, lo que marca un paso clave para Shanghái en el campo de los vehículos inteligentes y conectados. El subdirector del Comité Municipal de Economía e Informatización de Shanghái, Tang Wenkan, explicó el ambicioso plan de Shanghái para crear una 'Shanghái moldeada por la IA'. Destacó que Shanghái impulsará la inteligencia mediante una ruta tecnológica basada en 'la inteligencia individual del vehículo como base y la cooperación entre vehículo, carretera y nube como apoyo clave'.

El entrenamiento de modelos de IA a gran escala (como los modelos Transformer y de lenguaje) se ha convertido en un paso crucial en el campo de la IA, pero también se enfrenta a altos costos computacionales, consumo de memoria y demanda de energía. Por ejemplo, GPT-3 de OpenAI tiene 175 mil millones de parámetros y requiere semanas de entrenamiento en GPU. Esta enorme demanda de recursos limita la aplicación de esta tecnología a organizaciones con abundantes recursos informáticos a gran escala, y también aumenta las preocupaciones sobre la eficiencia energética y el impacto ambiental. Resolver estos desafíos es crucial para garantizar una accesibilidad más amplia al desarrollo de la IA

A principios de este año, Google lanzó su sexta generación de TPU, Trillium, la más potente hasta la fecha. Hoy, Trillium está oficialmente disponible para los clientes de Google Cloud. Google entrenó su último modelo de IA, Gemini 2.0, el más potente hasta la fecha, utilizando el TPU Trillium. Ahora, las empresas y startups pueden aprovechar la misma infraestructura potente, eficiente y sostenible. El núcleo de la supercomputadora de IA: Tri

En el mundo de la IA, la frase "la fuerza bruta hace milagros" parece ser una regla de oro. Cuanto más grande sea el modelo, más datos y mayor potencia de cálculo, parece que más nos acercamos al santo grial de la inteligencia. Sin embargo, detrás de este avance vertiginoso se esconden enormes presiones de costes y consumo de energía. Para que el entrenamiento de la IA sea más eficiente, los científicos buscan constantemente optimizadores más potentes, como un entrenador que guía los parámetros del modelo para que se optimicen continuamente y alcancen su mejor estado. AdamW, como optimizador predeterminado para el preentrenamiento de Transformer, ha sido durante años el estándar de la industria

En el campo de la inteligencia artificial, cuanto más grande, parece ser más poderoso. En la búsqueda de modelos de lenguaje más potentes, las grandes empresas tecnológicas están aumentando exponencialmente los parámetros del modelo y los datos de entrenamiento, lo que resulta en un aumento desproporcionado de los costos. ¿No existe un método económico y eficiente para entrenar modelos de lenguaje? Investigadores de la Universidad de Harvard y la Universidad de Stanford publicaron recientemente un artículo donde descubrieron que la precisión del entrenamiento del modelo es como una llave oculta que puede desbloquear el "código de costo" del entrenamiento del modelo de lenguaje. ¿Qué es...

ByteDance respondió recientemente a los rumores sobre un "becario que dañó el entrenamiento de un modelo de lenguaje grande". La compañía confirmó que un becario interfirió maliciosamente con el entrenamiento de un modelo de investigación en el equipo de tecnología comercial, pero que esto no afectó a los proyectos comerciales oficiales ni a los servicios en línea de la compañía, ni a otros proyectos de modelos grandes de ByteDance. Además, ByteDance señaló que las afirmaciones en línea de "más de 8000 tarjetas y millones de dólares en pérdidas" son una exageración significativa. Según informes públicos, el becario trabajaba en el equipo de tecnología comercial de ByteDance.

La plataforma de redes sociales X (anteriormente Twitter) actualizó su política de privacidad el miércoles, generando un amplio interés y debate. La nueva política indica que X permitirá por defecto que terceros 'socios' utilicen los datos de la plataforma para entrenar modelos de IA, a menos que el usuario opte por no participar activamente. Esta medida no solo pone de manifiesto los esfuerzos de X por buscar nuevas fuentes de ingresos, sino que también suscita preocupaciones sobre la protección de la privacidad de los datos de los usuarios. Los principales cambios de la nueva política incluyen: Uso de datos por terceros: Se añade una cláusula que permite a los socios terceros utilizar los datos de los usuarios de X, incluyendo el entrenamiento de modelos de IA. Los usuarios pueden optar por...

En la reciente conferencia de tecnología de video en la nube de Volcan Engine, se presentó una innovación importante: una solución de preprocesamiento de video para el entrenamiento de modelos grandes. Esta tecnología se ha aplicado con éxito al modelo de generación de video Doubao, lo que marca un avance significativo en la tecnología de generación de video con IA. El presidente de Volcan Engine, Tan Dai, destacó que la AIGC y las tecnologías multimodales están cambiando profundamente la experiencia del usuario. Basándose en la experiencia práctica de Douyin, Volcan Engine está explorando activamente la fusión de modelos grandes de IA y tecnología de video para ofrecer soluciones integrales a las empresas. El responsable de arquitectura de video del grupo Douyin, Wang Yue, señaló que el entrenamiento de modelos grandes presenta numerosos desafíos.

Según CNBC, la startup de inteligencia artificial de San Francisco, Writer, lanzó el miércoles un gran modelo de IA para competir con las ofertas empresariales de compañías como OpenAI y Anthropic. Lo notable es que Writer solo gastó alrededor de 700,000 dólares en el entrenamiento de su último modelo, incluidos datos y GPU, mientras que las startups de la competencia gastaron millones de dólares en la construcción de sus propios modelos. Nota de la imagen: Imagen generada por IA, proveedor de servicios de licencias de imágenes MidjourneyWriter

En el mundo de la IA, los datos son como minas de oro, cuanto más abundantes, más brillantes. Recientemente, LLM360 lanzó un conjunto de datos impresionante, TxT360, diseñado específicamente para el entrenamiento de modelos de lenguaje extenso. Este coloso no solo incluye datos de texto de alta calidad de todos los sectores, sino que también ha pasado por una limpieza global a gran escala, culminando en 5,7 billones de tokens de alta calidad, ¡una verdadera "caja de herramientas de datos"! El encanto de TxT360 radica en su enorme escala y su alta calidad, superando a los existentes F

Se ha lanzado la versión 3.0 del framework PaddlePaddle, con una actualización central en la tecnología de paralelización automática unificada estática y dinámica, destinada a simplificar el proceso de entrenamiento distribuido de modelos grandes y mejorar la eficiencia del desarrollo. La nueva versión admite tecnología de paralelización mixta de cuatro a cinco dimensiones, empleando varios métodos de paralelización, como la paralelización de datos, la paralelización de modelos de tensores, la paralelización de pipelines y la paralelización de división de parámetros por grupos, lo que mejora eficazmente la eficiencia del entrenamiento de modelos grandes. La tecnología de paralelización automática, mediante la marcación de la sintaxis de división de tensores, deduce automáticamente el estado de división distribuida y agrega operadores de comunicación, reduciendo la dificultad de desarrollo. El principio de paralelización automática incluye la representación de tensores distribuidos, la deducción de división y la...

Nvidia ha lanzado dos nuevos modelos de lenguaje grandes de código abierto, Nemotron-4-Minitron-4B y Nemotron-4-Minitron-8B, que utilizan métodos de entrenamiento eficientes basados en poda estructurada y destilación del conocimiento, reduciendo significativamente los requisitos de entrenamiento y el consumo de datos y potencia de cálculo. En comparación con los métodos tradicionales, los nuevos modelos reducen los datos de tokens de entrenamiento en 40 veces y el coste de la potencia de cálculo en un 180%. Mediante la optimización de Llama-3.18B, la poda estructurada simplifica la arquitectura del modelo, mientras que la destilación del conocimiento mejora el rendimiento. Minitron

El CEO de Anthropic prevé un aumento significativo en el costo del entrenamiento de modelos de IA en los próximos tres años, pasando de los actuales 1.000 millones de dólares a 100.000 millones de dólares, lo que genera incertidumbre en la industria sobre la sostenibilidad de los costes y la viabilidad de la burbuja de la IA. Este aumento de costes se debe principalmente al incremento de la demanda de hardware, especialmente la necesidad de computación de alto rendimiento (especialmente GPU y energía para centros de datos) impulsada por la rápida expansión de los modelos de IA. Además, con la evolución de la IA desde la generación a propósitos generales, la teoría fundamental...